查看原文
其他

从受益者到贡献者,朱凯的 ClickHouse 升级之路

神经小兮 HyperAI超神经 2021-04-22

By 超神经


内容提要:由开源社举办的 2020 中国开源年会 (COSCon'20) ,即将在本周末拉开帷幕。HyperAI超神经一直以来都关注开源领域的动向,我们对本次开源大会讲师朱凯进行了专访,在此分享他参与开源事业十年以来的经历与感悟。


关键词:ClickHouse DolphinScheduler 开源



在 IT 领域从业 10 年,朱凯说,自己的整个职业生涯都在和开源软件打交道。


这十年间,他一边见证着国内开源环境的巨大变化,一边从开源项目的普通用户,升级为知名开源项目 ClickHouse、Apache DolphinScheduler 等的重要贡献者。


十年职业生涯,也是他在开源领域的升级之路


朱凯说,投身开源事业,开拓了他的视野,也让他拥有了更大的舞台。


 被性能惊艳,投身 ClickHouse 布道


近年来,用于线上分析处理的开源列式数据库 ClickHouse,在国内外技术社区受到极大关注,同时也深受科技大厂的青睐,今日头条、腾讯等都纷纷将其投入大规模使用。


开源四年,该项目在 GitHub 上的 star 数就已达到 12.5k

增速惊人,远远超过其它同类项目


2017 年 4 月,在朋友的推荐下,朱凯第一次接触到 ClickHouse。这个由俄罗斯互联网巨头 Yandex 开源的 OLAP 数据库,以碾压性的性能优势,给朱凯留下了极为深刻的印象,他从此便成为了 ClickHouse 的忠实粉丝。


举例来说,在 1 亿数据集大小的情况下,ClickHouse 的平均响应速度超越了多个 OLAP 开源引擎,比如是 Vertica 的 6.08 倍、 Greenplum 的 18、Hive 的 126 倍以及 MySQL 的 429 倍。


ClickHouse 与其它引擎查询处理时间对比

(时间越短越好)


经过一番对比论证,朱凯和团队很快就用 ClickHouse 完全替换了当时正在使用的同类产品,相关性能得到了很大的提升。


作为一名使用者,朱凯在学习和使用过程中,会将发现的 bug 即时上报,也会翻译一些英文文档。


随着他对 ClickHouse 的理解越来越深入,也渐渐发现了一些问题。「ClickHouse 的学习资料实在匮乏,除了官方手册之外,基本没有其他成体系的资料。即便是官方手册,也缺乏一些原理性的解释。」


作为一个 ClickHouse 的受益者以及贡献者,朱凯觉得自己还可以做更多来回馈项目。


2018 年底,朱凯决定将自己在实践和学习过程中的经验进行整理和总结,并编写成书,希望将这些知识分享给更多开发者。


2020 年 5 月,仅仅经历了一年半的时间,他编写的《ClickHouse 原理解析与应用实践》便出版了。


据了解,这是当前市面上第一本关于 ClickHouse 的书籍


朱凯在书中对 ClickHouse 的时代背景、发展历程、核心概念、基础功能、运行原理等进行了全面介绍与解读,帮助更多人快速了解 ClickHouse。此外,由于技术的迭代很快,朱凯还特地运营了公众号「ClickHouse的秘密基地」,以作补充。


就是这样,不满足于只做一个受益者,朱凯将自己对于开源的热爱,写进了开源项目的代码里和书籍里。这也是开源教会他的,不仅仅是作为单纯的信息接受者,也要学会做一个信息输出者。


 从 User 到 Committer,参与开源并不难


除了 ClickHouse,作为一名资深开源贡献者,朱凯还是明星开源项目 Apache DolphinScheduler 的 Committer。


今年 4 月,得知自己成为 DolphinScheduler Commmitter 时,朱凯感到特别激动,「在我的价值观体系里面,对于一个程序员来说,能够成为 Apache Committer,能够拥有 Apache 邮箱,那绝对是至高无上的荣耀。」


该项目于 2019 年 8 月进入 Apache 基金会 

是中国第 16 个进入 Apache 基金会的项目


激动之余,他也和其他开发者分享了自己在开源领域这些年的感悟。


  • 学习规则很重要。每个地方都有着自己的游戏规则,既然我们要参与其中,认同并遵循它的文化理念自然很重要。


    以 ASF(Apache 软件基金会,Apache Software Foundation)为例,ASF 遵循精英自治,投票文化,具体细节建议大家搜索「Apache 之道」详细了解一下。


  • 想做贡献,可做的不仅仅是写代码。很多人,包括我在内,在很长时间内一直以为只有提交代码才算做贡献,其实并不是。


    贡献的形式是多种多样的,包括代码、编写文档、社区问题答疑、提 issue、宣传布道等各种形式。所以找到你擅长的领域,持续输出、持续贡献即可。


  • 参与开源,可以「各怀鬼胎」。从小的英雄主义教育我们,英雄到最后很可能都是会受伤、要牺牲的。所以很多人,包括我在内,在很长时间内认为搞开源是件很神圣的事情,不能带有杂念,只能利用个人时间付出、不能有收益,否则就是「不纯洁」。


    其实并不是,经验告诉我们,一件事情如果没有利益驱使,是无法持续长久的。只靠一时激情,也就只能换来三分钟的热度。


  • 快速迈出第一步。很多时候,我们总是停留在设想(YY)、规划(自嗨)阶段,迟迟不愿有所行动,殊不知迈出第一步是何等的重要。这是破圈的开始,站在圈外观摩,和身在其中是完全不同的体验。如果你想参与开源,成为开源项目的 Contributor,从现在就开始吧!


 国内开源的未来:满怀信心


回溯过去,中国的开源项目大概始于 1995 年左右,至今不过二十多年的历史。


但这二十多年时间国内开源经历了可谓翻天覆地的变化。朱凯就亲历了近十年来国内开源环境的变化,并由衷感慨:「开源的氛围在国内是越来越好了,特别是在 2019 年。」


为什么这么说?朱凯解释道:「很多圈内人都在说 2019 年是中国开源的爆发之年。的确,这一年,在 GitHub 全球 4000 万注册用户中,来自中国的开发者在数量和贡献度上均排名第二。中国的活跃开源项目贡献者,有 40% 以上是在 2019 年加入的。」


中国在 GitHub 的开发者数量增长迅速

数量位居第二,目前仅次于美国(信息来源:CSDN)


以朱凯自身比较关注的 Apache 基金会来说,截止到 2019 年底,已经有 16 个中国的开源项目进入了 Apache 基金会。也有越来越多的中国人成为了 Apache 的 Member。


据统计,截至 2020 年 4 月,

全球共有 765 位 ASF Member,其中华人 40 名


如今,中国也有了自己的开源协议 「木兰宽松许可证 」和 开源基金会 「开放原子开源基金会」,一切都在逐步推进。


这些变化,都让朱凯对国内的开源事业抱有很大信心:「我相信今后大家参与开源的门槛会越来越低、中国本土的开源力量会越来越强大。」


 COSCon'20 报名进行中,朱凯老师在等你


业内最具影响力的开源年度盛会 2020 中国开源年会(COSCon'20)将于 10 月 24-25 日召开。今年的嘉宾分享将采取线上线下相结合的形式,从人工智能、开源治理、数据技术、教育与公益等 11 个方向,讲述开源向善(Open Source for Good)的主题。



朱凯将在 10 月 25 日的数据技术分会场,进行主题演讲《从 ClickHouse 的名字来历说起》,与广大开发者分享 ClickHouse 的历史与发展、核心功能以及应用场景等。


你可以通过访问以下链接,或点击阅读原文进行报名。活动火热进行中,期待你的参与!


报名链接或点击原文阅读:

https://www.bagevent.com/event/6840909


—— 完 ——

扫描二维码,加入讨论群

获得更多优质数据集

了解人工智能落地应用

关注顶会&论文

回复「读者」了解详情

更多精彩内容(点击图片阅读)

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存